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(57) Abstract 



VERFAHREN ZUR NEURONALEN MODELLIERUNG DER ABHANGIGKEITEN VON EINFLUSSGROSSEN 
EINES TECHNISCHEN SYSTEMS 



The present invention pertains to a method enabling the parameters of a technical system to be modelled on a less complex way, 
whereby the modelling of probability densities for all parameters is based on neural models in such a way that each parameter is modelled 
relative to ail the others so far as they are relevant. The training data from neural models are determined by means of a real technical 
system. The advantage of the invention is that it allows for a plurality of unknowns to be reliably forecast. In technical systems where 
the determination of the quantities to be measured requires a lot of time and money, the inventive method enables said quantities to be 
determined without using sensors. 



(57) Zusammenfassung 

Mit der Erfindung wird ein Verfahren angegeben, womit die Komplexitat bei der Modellierung von EinfluBgroBen eines technischen 
Systems reduziert werden kann, indem die Wahrscheinlichkeitsdichten aller EinfluBgrdBen durch neuronale Modelle in der Form modelliert 
werden, daB die jeweilige EinfluBgroBe in Abhangigkeit aller anderen EinfluBgrdBen, soweit sie relevant sind, modelliert wird. Die Daten 
fur das Training der neuronalen Modelle werden beispielsweise anhand eines realen technischen Systems bestimmt. Der Vorteil des 
erfindungsgemaBen Verfahrens besteht darin, daB auch mehrere Unbekannte auf diese Weise zuverlassig vorhergesagt werden konnen, bzw. 
daB in technischen Systemen, bei denen MeBgroBen nur sehr aufwendig oder zeitintensiv bestimmt werden konnen, auf MeBfuhler fur diese 
MeBgrdBen verzichtet werden kann und anstattdessen das erfindungsgemaBe Verfahren zur Anwendung kommen kann. 
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1 

Beschreibung 

Verfahren zur neuronalen Modellierung der Abhangigkeiten von 
Einf lufigroBen eines technischen Systems 

5 

Die Erfindung bezieht sich auf ein Verfahren zur Modellierung 
von Einf lufigroBen eines technischen Systems, wobei beim Be- 
trieb des technischen Systems fallweise verschiedene GroSen 
bekannt und verschiedene GroBen unbekannt sind. 

10 

Haufig besteht bei technischen Prozessen, wie beispielsweise 
chemischen Reaktionsprozessen oder Fertigungsprozessen das 
Problem, daS einzelne Einf luSgroSen dieser Prozesse sehr 
schwierig, technisch sehr aufwendig, oder nur mit hohem Zeit- 

15 auf wand zu bestimmen sind. Bei einzelnen Anwendungen kann es 
auch vorkommen, daS die bekannt en und die unbekannt en GroBen 
von Fall zu Fall variieren. Es besteht deshalb der Wunsch, 
fur jeden Fall einzelne Einf luSgroSen welche unbekannt sind, 
anhand der bekannten Einf luSgroSen des technischen Systems 

20 bestimmen, vorhersagen oder ermitteln zu konnen. Hierzu ist 
es erf orderlich, die einzelnen GroSen und deren Abhangigkei- 
ten voneinander auf geeignete Weise zu modellieren. Das all- 
gemeinste Modell stellt in diesem Fall fur diskrete GroSen 
die gemeinsame Wahrscheinlichkeit der Einf luSgroSen und fur 

25 kontinuierliche GroSen die gemeinsame Wahrscheinlichkeits- 

dichte oder Mischformen von beiden, wenn sowohl diskrete als 
auch kontinuierliche GroSen vorhanden sind, dar. Eine direkte 
Modellierung der gemeinsamen Wahrscheinlichkeitsdichte ist 
insbesondere fur den Fall der kontinuierlichen Variablen sehr 

30 schwierig und kaum durchf uhrbar . Aus diesem Grund wird ver- 

sucht die gemeinsame Wahrscheinlichkeitsdichte anhand beding- 
ter Wahrscheinlichkeitsdichten fur die einzelnen Variablen, 
welche die Einf luSgroSen des technischen Prozesses darstel- 
len, zu modellieren. Hierbei werden die gegenseitigen Abhan- 

35 gigkeiten der einzelnen Einf luSgroSen als bedingte Wahr- 
scheinlichkeiten auf den jeweiligen Variablen modelliert. 
Wenn sich bestimmte Einf luSgroSen nicht direkt beeinf lussen, 
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d.h. wenn bestimmte Unabhangigkeiten existieren, dann laSt 
sich das ausnutzen, urn die Komplexitat des Problems zu ver- 
einfachen. Ein Beispiel fur die Reduktion der Komplexitat 
solcher Modellierungsprobleme , stellt die Model lierung der 
5 gemeinsamen Wahrscheinlichkeitsdichte mit Hilfe von Bayesia- 
nischen Netzen dar . Bei den Bayesianischen Netzen handelt es 
sich urn spezielle Dichteschatzer , bei denen bedingte Unabhan- 
gigkeiten und Abhangigkeiten zwischen den einzelnen Variablen 
durch eine gerichteten Graphen reprasentiert werden [2] . Die 

10 gemeinsame Wahrscheinlichkeitsdichte wird dabei als Produkt 

bedingter Dichten f aktorisiert . Falls bedingte Unabhangigkei- 
ten zwischen den einzelnen Variablen bestehen, so lassen sich 
die einzelnen Faktoren vereinfachen und die gemeinsame Wahr- 
scheinlichkeit wird also durch eine Menge von bedingten Wahr- 

15 scheinlichkeitsmodellen beschrieben. Das Vorhersagemodell fur 
eine Variable, d. h. die bedingte Wahrscheinlichkeit einer 
Variable, gegeben alle anderen Variablen, lafit sich aus die- 
sen Faktoren berechnen. Im allgemeinen gilt: 

20 P(x i |x 1 ...x l _ 1 x i+1 ...x n ) oc P(x i |x 1 ,...,x i _ 1 )np(x j |x 1 ,...,x j _ 1 ) 

j=i+l 

Die Vorgehensweise der Modellierung solcher Probleme mit 
Hilfe von Bayesianischen Netzen hat jedoch bei mehreren unbe- 
kannten Variablen Nachteile. Durch die Modellierung und die 

25 Beschreibung des Problems mit Hilfe der gerichteten Graphen 
der Bayesianischen Netze, werden fur die einzelnen bedingten 
Wahrscheinlichkeiten als deren Bestimmungsvoraussetzung, die 
gegebenen Variablen bereits auf lediglich die Eltern der je- 
weiligen Variablen reduziert. Dadurch kommt es zu Problemen, 

30 falls bei der Bestimmung von mehreren Variablen mit Hilfe des 
Gibbs-Samplings eine bedingte Wahrscheinlichkeit bestimmt 
werden muS, die zur Beschreibung des Bayesianischen Netzes 
nicht erforderlich war. Insbesondere kommt es dabei zu Pro- 
blemen, falls sich die Abhangigkeiten der bedingten Wahr- 

35 scheinlichkeiten in Bezug auf die vorhandenen Variablen, wel- 
che als gegeben angenommen werden, umkehren, da beim Umkehren 
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einer Abhangigkeit bei der eine Variable, gegeben Werte der 
sie beeinf lussenden Variablen, normalverteilt ist, die in- 
verse Verteilung sehr kompliziert sein kann. 

5 Der Erfindung liegt also die Aufgabe zugrunde, ein weiteres 
Verfahren zur neuronalen Modellierung der Abhangigkeiten von 
Einf lufigrofien eines technischen Systems anzugeben, welches 
die Nachteile der Modellierung mit Bayesianischen Netzen 
nicht auf weist . 

10 

Diese Aufgabe wird gemaS den Merkmalen des Patentanspruches 1 
gelost . 

Weiterbildungen der Erfindung ergeben sich aus den abhangigen 
15 Anspruchen. 

Das erf indungsgemaSe Verfahren bietet insbesondere den Vor- 
teil, dafi zur Beschreibung des Problems und zur neuronalen 
Modellierung der bedingten Wahrscheinlichkeiten genau jene 
2 0 bedingte Wahrscheinlichkeiten verwendet werden, welche spater 
auch bei der Suche von mehreren Einf lufigroSen mit Hilfe des 
Gibbs- Samplings verwendet werden konnen* Hierdurch erspart 
man sich komplizierte mathemat ische Umformungen. 

2 5 Besonders vorteilhaft werden beim Training der neuronalen Mo- 

delle nach dem erf indungsgemaSen Verfahren, als gegebene Va- 
riablen lediglich die Variablen des Markov Blankets in [l] 
erklart, der jeweiligen bedingten Wahrscheinlichkeitdichte 
vorgegeben, da damit Redundanzen zuverlassig vermieden werden 

3 0 konnen und eine schnellere Berechenbarkeit der Ausgangsgrofien 

gegeben ist . 

Vorteilhaft konnen beim erf indungsgemaSen Verfahren, wie auch 
bei anderen neuronalen Model lierungs verfahren die Abhangig- 
3 5 keiten der EingangsgroSen durch Ruckwartsverf olgung der Neu- 
ronengewichte im neuronalen Netz bestimmt werden. 
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Vorteilhaft konnen mehrere unbekannte Einf lulSgroSen nach clem 
erf indungsgemafien Verfahren anhand der bekannten EinfluiSgro- 
fien mit Hilfe des standardisierten Gibbs- Samplings in [2] 
erklart, geschatzt werden. 

5 

Vorteilhaft kann beim erf indungsgemafien Verfahren lediglich 
ein neuronales Netz eingesetzt werden, um alle bedingten 
Wahrscheinlichkeiten zu modellieren, falls es sich um eine 
nicht zeitkritische Anwendung handelt und Rechenauf wand ein- 
10 gespart werden soil. 

Besonders vorteilhaft kann jedes einzelne neuronale Modell 
mit einem neuronalen Netz auf einem separaten Prozessor mo- 
delliert werden, um moglichst schnell und moglichst viele Er- 
15 gebnisse in kurzer Zeit erhalten zu konnen. 

Besonders vorteilhaft kann die Einf luSgrofie eines technischen 
Systems, welche beispielsweise eingestellt, bestimmt oder ge- 
regelt werden sollen, nach dem erf indungsgemaSen Verfahren 
20 modelliert werden, anstatt aufwendig am technischen System 
selbst gemessen zu werden. 

Vorteilhaft eignet sich das erfindungsgemafie Verfahren zur 
neuronalen Modellierung sowohl fur diskrete Variable als Ein-* 
25 gangsgroSen, als auch fur kontinuierliche Variablen. 

Im folgenden wird die Erfindung beispielhaft anhand einer Pi- 
gur weiter erlautert. Die Figur zeigt als Beispiel ein tech- 
nisches System TP, welches beispielsweise eine chemische Re- 

30 aktion von Komponenten A, B, C und D symbolisiert . Beispiels- 
weise wird die Komponente A standig zugegeben, so date sie mit 
einer Konzentration KA vorhanden ist, und sie zerfallt in 
Komponenten B und C, welche in Konzentrationen KC und KB vor- 
liegen. Die Ubergange von A nach C sind mit 10 und von A nach 

35 B mit 30 bezeichnet. Beispielsweise kann diese Reaktion 

zeitabhangig erfolgen. Die Stoffe C und B konnen dann zu ei- 
nem Stoff D, der dann dem ProzeS z.B. durch Ausf alien entzo- 
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gen wird, reagieren, was iiber die Pfeile 20 und 40 symboli- 
siert ist. Falls nun fiir die einzelnen Konzentrationen KA, 
KB, KC und KD nur Wahrscheinlichkeitsverteilungen zur Verfii- 
gung stehen, so miifite nach dem erf indungsgemafien Verfahren 
5 zunachst das gesamte technische System beispielsweise in ei- 
nem chemischen Reaktor eine gewisse Zeit lang beobachtet wer- 
den, urn Mefiwerte fiir die einzelnen Konzentrationen zu sam- 
meln. Gewiinscht ware fiir diesen Fall die gemeinsame Wahr- 
scheinlichkeitsdichte p(A, B, C, D) . Nach dem erf indungsgema- 

10 Sen Verfahren wird die Komplexitat dieses Problems dadurch 

reduziert, daS fiir die einzelnen Stoffe bedingte Wahrschein- 
lichkeiten als neuronale Modelle modelliert werden. Diese Mo- 
delle konnen anhand von Daten trainiert werden, welche dem 
realen System entnommen wurden. Hierzu waren also beispiels- 

15 weise bei dem vorliegenden Problem die bedingten Wahrschein- 
lichkeitsdichten p (A | B , C, D) , p(B|, A, C, D) , p(C|A, B, D) 
und p(D|A, B, C) zu modellieren. Da nach dem erf indungsgema- 
Sen Verfahren zur Modellierung der bedingten Wahrscheinlich- 
keiten als gegebenen Variablen lediglich die Markov Blankets 

20 beriicksichtigt werden miissen, vereinfachen sich die bedingten 
Wahrscheinlichkeitsdichten fiir p (A) zu p(A|B, C) und p(D) zu 
p(D|B, C) . 

Falls nun beim gegebenen Problem die Werte von C und D nicht 
25 verfiigbar waren, so wiirde ein Gibbs- Sampling mit Hilfe der 

modellierten bedingten Wahrscheinlichkeitsdichten fur samtli- 
che Stoffe durchgef iihrt , um iterativ iiber die Modelle zu die- 
sen Werten zu gelangen. Es ist hierbei zu beachten, daft es 
sich bei diesem Problem lediglich um ein Beispiel handelt . 
30 Das erf indungsgemafie Verfahren laSt sich beispielsweise auch 
sehr gut bei Diagnoseverf ahren einsetzen, bei denen bei- 
spielsweise in technischen Prozessen bestimmte Grofien verfiig- 
bar sind und andere GroSen vorhergesagt werden sollen, um ein 
korrektes Verhalten des Systems beurteilen zu konnen. Gegen- 
35 iiber der Modellierung mit Hilfe von Bayesianischen Netzen hat 
das erf indungsgemafie Verfahren den Vorteil, daS der einfach- 
ste Anwendungsf all , die Vorhersage einer Variable aus alien 
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anderen, wesentlich vereinfacht wird. AuSerdem laiSt die di- 
rekte Modellierung ein genaueres Vorhersagemodell erwarten 
als wenn das Vorhersagemodell aus mehreren anderen Modelled 
abgeleitet wurde . Weiterhin bietet das erf indungsgemafie Ver- 
5 fahren den Vorteil, daS das Lernen der Vorwartsmodelle in 

gleicher Weise m 6glich 1st, wie das Lernen der einzelnen Mo- 
delle eines Bayesianischen Netzes. Das Strukturlernen ist je- 
doch wesentlich einfacher, da die Reihenfolge der Variablen 
d. h. die Richtung der Pfeile im Bayesianischen Netz nicht ' 
10 gelernt werden mufi. 

Als weitere Beispiele fur die Anwendung des erf indungsgemaGen 
Verfahrens konnen ein Herstellungsprozefi, bei dem fur jede 
produzierte Einheit bestimmte Variablen vorliegen und eine 
15 Diagnosenstellung, anhand von Befunden aus Untersuchungen 

dxenen. Beim technischen ProzeS liegt beispielsweise als Ein- 
fluEgrofie des technischen Prozesses die zugegebenen Menge 
verschiedener Chemikalien, die Temperatur, die Ruhrintensi- 
tat, und die Festigkeit des Endproduktes , sowie die Konzen- 
20 tratxon bestimmter Nebenprodukte vor. Einige dieser Werte 

wie z. B. die Konzentrationen bestimmter Nebenprodukte sind 
teuer zu messen und deshalb werden sie nur selten gemessen 
falls beispielsweise der Verdacht besteht, daS der Prozefi 
nicht mehr ordnungsgemaS ablauf t . In diesem Fall konnte das 
25 ziel beim Einsatz des erf indungsgemafien Verfahrens sein die 
fehlenden Variablen aus meSbaren Variablen vorherzusagen urn 
einem Operateur, oder einem automatischen Verfahren eine'bes- 
sere Entscheidungsgrundlage zur Regelung des Prozesses zu ge- 
ben. Ein weiteres Ziel konnte es sein automatisch Vorschlage 
0 zu erhalten, ob und welche GroSen zu messen sind. Weiterhin 
konnte es ein Ziel sein Anomalien des Prozesses zu erkennen 
um ggf . einen Alarm auszulosen. 

Fur das Beispiel der Diagnose an einem Kfz, liegen z. B fur 
5 unterschiedliche Kfz Diagnosebef unde aus einzelnen Untersu- 
chungen an Schliisselkomponenten des Fahrzeuges vor Bei- 
spielsweise sind bei dem Kfz nur ein Teil der in Frage kom- 
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menden Untersuchungen durchgef iihrt worden, urn Arbeitszeit 
einzusparen. Die bestehende Aufgabe fur den Einsatz des er- 
f indungsgemaSen Verfahrens konnte in diesem Fall sein, die 
Wahrscheinlichkeiten fur das Vorlegen bestimmter Defekte zu 
5 bestimmen, bzw. Wahrscheinlichkeitsaussagen uber zu erwar- 
tende Befunde bei weiteren diagnostischen Untersuchungen zu 
machen. Ein weiteres Ziel konnte es dabei sein weitere sinn- 
volle Diagnoseschritte vorzuschlagen. Diese Vorgehensweise 
la£t sich auf jegliche Art von technischen Daten anwenden, 
10 die aus diagnostischen Befunden gewonnen werden. 
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Patent anspruche 

1. Verfahren zur neuronalen Modellierung der Abhangigkeiten 
von Einf lufigroSen eines technischen Systems mit folgenden 

5 Merkmalen : 

a) es werden alle zu modellierenden Einf luSgroSen festgelegt; 

b) es werden fur alle Einf lufigroSen neuronale Modelle derart 
trainiert, daS je Einflu£gr6£e die bedingte Wahrschein- 
lichkeit dieser Einf lufigrofie in Abhangigkeit hochstens al- 
io ler anderen verbleibenden zu modellierenden Einf lufigroSen 

als neuronales Modell zur Verfugung steht, wobei zum Trai- 
ning der neuronalen Modelle auf Basis des technischen Sys- 
tems gemessene und/oder geschatzte Werte von Einf luSgrofien 
verwendet werden; 
15 c) eine zu bestimmende unbekannte EinfluSgroSe wird unter 

Verwendung mindestens einem der neuronalen Modelle anhand 
der anderen Einf luSgrofien bestimmt. 

2. Verfahren nach Anspruch 1, 

2 0 bei dem von mindestens zwei voneinander abhangigen Ein- 

f luSgroSen deren Abhangigkeit bestimmt wird und ein neuro- 
nales Modell von einer bedingten Wahrscheinlichkeit dem 
diese abhangigen Einf lufigroSen zugrunde liegen, mit dem 
Markov-Blanket dieser Einf luSgroSen trainiert wird. 

25 

3. Verfahren nach Anspruch 2, 

bei dem die gegenseitige Abhangigkeit von Einf luEgrofien 
durch Rtickwartsverf olgung der Neuronengewichte an einzel- 
nen Neuronen eines neuronalen Modelles zum Eingang hin, 
30 festgestellt wird 

4. Verfahren nach einem der vorangehenden Anspruche, 

bei dem zur Bestimmung von mindestens zwei unbekannten 
EinfluEgroSen Gibbs- Sampling mit Werten durchgefuhrt wird, 

3 5 die von alien zur Verfiigung stehenden neuronalen Modellen 

geliefert werden. 
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5. verfahren nach einem der vorangehenden Anspriiche, bei detn 
lediglich ein neuronales Netz zur Simulation aller beding- 
ten Wahrscheinlichkeitsdichten verwendet wird, indem je zu 
model lierender bedingter Wahrscheinlichkeitsdichte aktuell 
fur das jeweilige Model 1 benotigte Neuronengewichte am 
neuronalen Netz eingestellt werden. 

6. Verfahren nach einem der Anspriiche 1 bis 4, bei dem fur 
jedes neuronale Modell ein neuronales Netz zur Simulation 
der bedingten Wahrscheinlichkeitsdichten verwendet wird. 

7. Verfahren nach einem der vorangehenden Anspriiche, bei dem 
eine schlecht, oder technisch sehr aufwendig zu messende 
EinflufcgroSe beim Betrieb des technischen Systems ledig- 
lich model liert und nicht gemessen wird. 

8. Verfahren nach einem der vorangehenden Anspriiche, bei dem 
eine diskrete EinfluSgroSe modelliert wird. 

9. Verfahren nach einem der Anspriiche 1 bis 7, bei dem eine 
kontinuierliche EinfluSgroEe modelliert wird. 

10. Anordnung zur Bestimmung von Einf luBgroSen eines techni- 
schen Systems, bei der fur die Bestimmung mindestens ei- 
ner EinfluSgroSe anstatt eines Mefimittels Mittel vorgese- 
hen sind, die diese Einflu£gr6£e anhand des Verfahrens 
nach einem der vorangehenden Anspriiche modellieren. 
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